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(57) Abstract 

A residual error (101) is determined after neuronal 
network training has occurred. A backward error (102) is 
determined from the residual error. Artificial training data 
vectors are generated from a statistic random process with 
an underlying statistic distribution, wherein the respective 
backward error is considered for a neuronal network input (103, 
104). 

(57) Zusammenfassung 

Nach erfolgtem Training eines neuronalen Netzes wird 
ein Restfehler ermittelt (101). Aus dem Restfehler wird ein 
Ruckwartsfehler ermittelt (102). Ktinstliche Trainingsdaten- 
vektoren werden aus einem statistischen ZufallsprozeB gener- 
iert, dem eine statistische Verteilung zugrundeliegt, bei der der 
jeweilige Ruckwartsfehler filr einen Eingang des neuronalen 
Netzes berucksichtigt wird (103, 104). 
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Beschreibung 

Verfahren unci Vorrichtung zur rechnergestutzten Generierung 
mindestens eines kiinstlichen Trainingsdatenvektors fur ein 
neuronales Netz 

It Technischer Hintercrrund 

Neuronale Netze lernen mit Hilfe von Trainingsdaten. Die 
Trainingsdaten sind in vielen Anwendungsgebieten sehr 
verrauscht, beispielsweise bei der Modellierung von 
Finanzdaten wie Aktien- oder Wahrungskursen . Somit erhalten 
die Trainingsdaten zufallige Storungen, die nichts mit der 
eigentlich zu modellierenden Systemdynamik zu tun haben. 

Durch die Approximationsf ahigkeit der neuronalen Netze kann 
aber auch die transiente Struktur des zufalligen Rauschens 
gelernt werden. Dieses Phanomen wird als Ubertrainieren des 
neuronalen Netzes bezeichnet . Durch ein ubertrainiertes 
neuronales Netz wird in sehr verrauschten Systemen der 
Lernvorgang des neuronalen Netzes erheblich behindert, da die 
Verallgemeinerungsf ahigkeit des neuronalen Netzes negativ 
beeinfluSt wird. 

Dieses Problem gewinnt in Anwendungsgebieten an Bedeutung, in 
denen nur eine geringe Anzahl von Trainingsdatenvektoren zur 
Adaption des neuronalen Netzes an die Anwendung, d.h. die zu 
modellierende, durch die Trainingsdatenvektoren 
reprasentierte Funktion, verfiigbar ist . 

Vor alien in diesen Anwendungsgebieten, aber auch allgemein 
in einem Trainingsverf ahren eines neuronalen Netzes ist es 
vorteilhaft, zusatzliche Trainingsdatenvektoren kiinstlich zu 
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generieren, urn somit eine grofiere Trainingsdatenmenge zu er- 
halten. 

2. Stand der Technik 

5 Es ist bekannt, die Generierung der kunstlichen Trainingsda- 
tenvektoren durch Verrauschen der verfugbaren Trainingsdaten- 
vektoren der Trainingsdatenmenge durchzuf lihren . Es ist in 
diesem Zusammenhang aus dem Dokument [1] bekannt , die Trai- 
ningsdatenmenge mit gauSf orrnigem Rauschen mit dem Mittelwert 
10 0 und einer Varianz o, die fur alle Eingange des neuronalen 
Netzes auf den gleichen Wert gesetzt wird, zu ermitteln. 

Aus [4] ist es bekannt, Trainingsdaten durch Einfiihrung zu- 
satzlichen Rauschens zu generieren. Dabei ist es bekannt, die 
15 sogenannte Jackknif e-Prozedur einzusetzen. 

Dieses Verfahren weist jedoch einige Nachteile auf. 

Dadurch, daS zur Generierung der zusatzlichen Trainingsdaten- 
20 vektoren als statistische Verteilung, die zur Generierung 

verwendet wird, ein gauSf ormiges Rauschen mit einer Varianz 
verwendet wird, die fur alle Eingange des neuronalen Netzes 
auf den gleichen Wert gesetzt wird, werden Trainingsdatenvek- 
toren neu generiert , die keinerlei Aussage iiber das zu model - 
25 lierende System enthalten. Die Trainingsdatenvektoren enthal- 
ten ferner keinerlei Information iiber das tatsachliche , dem 
System zugrundeliegende Rauschen. Somit wird zwar die Trai- 
ningsdatenmenge vergroSert, diese mufi aber nicht den Lernvor- 
gang unterstiitzen, da ein fest vorgegebenes Rauschen, das mit 
30 der eigentlichen Systemdynamik nichts zu tun hat, zum Trai- 
nieren des neuronalen Netzes verwendet wird. Damit kann es 
dann trotzdem zum Ubertrainieren kommen. 

Grundlagen iiber neuronale Netze sind beispielsweise aus dem 
3 5 Dokument [2] bekannt. 
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Grundlagen fiber Verwendung der neuronalen Netze in der Okono- 
mie sind beispielsweise aus dem Dokument [3] bekannt . 

3 . Kurzbeschreibuna der Erf induna 

5 

Somit liegt der Erfindung das Problem zugrunde, kunstlich 
neue Trainingsdatenvektoren fur ein neuronales Netz zu bil- 
den, wobei jedoch ein Ubertrainieren des neuronalen Netzes 
vermieden wird. 

0 

Das Problem wird durch das Verfahren gemafi Patentanspruch 1 
sowie durch die Vorrichtung gemafi Patentanspruch 9 gelost . 

Bei dem Verfahren wird nach dem Training des neuronalen Net- 
5 zes mit verfugbaren Trainingsdatenvektoren einer Trainingsda- 
tenmenge ein Restfehler ermittelt. Aus dem Restfehler wird 
beispielsweise unter Verwendung eines Gradient enabst iegs - 
Verfahren ein eingangsbezogener Ruckwartsf ehler ermittelt. 
Die Ermittlung des Ruckwartsf ehlers entspricht der ublichen 
0 Vorgehensweise wahrend des Trainings eines neuronalen Netzes 
zur Adaption der einzelnen Gewichte des neuronalen Netzes. 
1st der eingangsbezogene Ruckwartsf ehler ermittelt worden, 
wird unter Berucksichtigung des jeweiligen Ruckwartsf ehlers 
eine dem jeweiligen Eingang zugeordnete statistische Vertei- 
5 lung generiert, und der kunstliche Trainingsdatenvektor wird 
unter Berucksichtigung der jeweiligen statist ischen Vertei- 
lung an den Eingangen des neuronalen Netzes erzeugt . 

Mit diesem Verfahren ist es moglich, zusatzliche Trainingsda- 
0 tenvektoren zu generieren, die eine Information uber das neu- 
ronal Netz und die Struktur des neuronalen Netzes aktuell 
nach dem Training des neuronalen Netzes mit den verfugbaren 
Traindingsdatenvektoren enthalten . 

5 Dies fiihrt dazu, daS die kunstlich erzeugten Trainingsdaten- 
vektoren von dem Ruckwartsf ehler , der nach dem Training des 
neuronalen Netzes noch existiert, abhangig sind und somit von 
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der Performanz des neuronalen Netzes abhangen. Dies fiihrt da- 
zu, dalS die erzeugten Trainingsdatenvektoren Information uber 
das zu modellierende System enthalten. Auf diese Weise kann 
ein Ubertrainieren des neuronalen Netzes durch die zusatzli- 
chen Trainingsdatenvektoren vermieden werden. 

Die Vorrichtung gemaS Patentanspruch 9 weist eine Rechenein- 
heit auf, die derart eingerichtet ist, daS die oben beschrie- 
benen Verf ahrensschritte durchgefiihrt werden. 

Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus 
den abhangigen Anspruchen. 

Es ist vorteilhaft, bei einer Online -Approximation des neuro- 
nalen Netzes, die auch als Online-Training bezeichnet wird, 
auch die jeweilige statistische Verteilung dem veranderten 
Trainingsdatensatz anzupassen. Dadurch wird das zu modellie- 
rende System noch genauer durch das neuronale Netz model - 
liert . 



In den Figuren ist ein Ausf iihrungsbeispiel der Erfindung dar- 
gestellt, welches im weiteren naher erlautert wird. 

Es zeigen 



4 . Kurze Figurenbeschreibung 



Fig. 1 



ein Ablauf diagramm, in dem die einzelnen Ver- 
f ahrensschritte des Verfahrens dargestellt sind; 



Fig . 2 



eine Skizze, in der eine Rechneranordnung darge- 
stellt ist, mit der das Verfahren durchgefiihrt 



werden kann. 



5 . Ficnirenbeschreibunq 
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In Fig. 1 sind die einzelnen Verf ahrensschritte des Verfah- 
rens dargestellt. 

In einem ersten Schritt (101) wird nach abgeschlossenem Trai- 
5 ning des neuronalen Netzes NN mit einer beliebigen Anzahl von 
Trainingsdatenvektoren TDVi einer Trainingsdatenmenge TDM von 
einem Rechner R ein Restfehler RE ermittelt . 

Der Restfehler RE wird beispielsweise bei m Trainingsdaten- 
10 vektoren TDV mit den Trainingsdatenvektoren TDV zugeordneten 
Sollwerten ti, wobei mit einem Index i jeweils der Trainings- 
datenvektor TDVi eindeutig gekennzeichnet wird, auf folgende 
Weise ermittelt : 

m 

15 RE = ^(ti -Yi) 2 
i = l 

Es kann jedoch selbstverstandliche jede beliebige andere Vor- 
schrift zur Bildung des Restfehlers RE nach dem Training des 
neuronalen Netzes NN verwendet werden. 

20 

Nach Ermittlung des Restfehlers wird ein Ruckwartsf ehler RFj 
ermittelt (102) . Die Bestimmung des Ruckwartsf ehlers RF kann 
beispielsweise unter Verwendung eines Gradientenabstiegs- 
Verfahrens nach den Eingangssignalen der neuronalen Netze NN 
25 erfolgen. 

Im weiteren wird folgende Nomenklatur fur den Trainingsdaten- 
vektor TDVi, sowie die Eingangsdaten des neuronalen Netzes 
NN, die sich aus den Trainingsdatenvektoren TDVi und einem 
3 0 Rauschtermvektor e ergeben, verwendet: 

Trainingsdatenvektor TDVi : x = (x lf . . . , x j , . . . , x n ) 



Rauschtermvektor: e = (ei, . . . , e j , . . . , e n ) 

35 
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Eingangsdatenvektor : z. = (x^+ei, . . . / x j+ e j / • • • # x n +e n) 

Mit n wird eine Anzahl von Komponenten der Trainingsdatenvek- 
toren TDVi , der Rauschtermvektoren e bzw. der Eingangsdaten- 
5 vektoren z bezeichnet. 

Der Ruckwartsf ehler RFj wird fur jeden Eingang j des neurona- 
len Netzes NN individuell ermittelt; wobei mit einem Index j 
jeweils eine Komponente des Eingangsdatenvektors z bzw. ein 
10 Eingang des neuronalen Netzes NN eindeutig bezeichnet wird, . 

Dies erfolgt beispielsweise nach dem bekannten Gradientenab- 
stiegs-Verf ahren zum Trainieren des neuronalen Netzes NN. So- 
rait ergibt sich der Ruckwartsf ehler RF des Eingangsdatenvek- 
15 tors z aus den jeweiligen partiellen Ableitungen des Restfeh- 
lers RE nach den einzelnen Eingangssignalen Zj . 

RF} = z- (2) • 



20 Mit dem Symbol t wird jeweils ein Zeitpunkt eindeutig gekenn- 
zeichnet, zu dem die Ermittlung des Ruckwartsf ehlers RFj er- 
folgt . 

Unter Berucksicht igung des Ruckwartsf ehlers RFj wird nun in 
25 einem dritten Schritt (103) eine statistische Verteilung Sj 
fur jeden Eingang j des neuronalen Netzes NN gebildet . 

Als statistische Verteilung Sj kann allgemein jede beliebige 
statistische Verteilung zur Beschreibung eines Zuf allsprozes - 
3 0 ses verwendet werden . 

Im folgenden werden zur einfacheren Darstellung jedoch nur 
eine uniforme statistische Verteilung und eine gauSformige 
statistische Verteilung Sj naher erlautert . 

35 
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Fur die uniforme Verteilung ergibt sich eine uniforme Vertei- 
lungsbreite Sj beispielsweise nach folgender Vorschrift: 



3 j t Z - 



k = l 



5e> 



(3) 



Der Rauschterm e-jt, der zur Bildung mindestens eines kunstli- 
chen Trainingsdatenvektors KTDV verwendet wird, liegt im Be- 
reich des Intervalls : 



10 



-a* ,s* 

D 3 



(4) 



Bei einer gaufiformigen Verteilung ergibt sich die Rauschbrei- 
te nach der folgenden Vorschrift: 



15 



k = l 



\ 2 



dE, 



(5) 



Der Rauschterm e-jt ergibt sich fur diesen Beispielsf all nach 
folgender Vorschrift: 



20 e^ eNf 0, ^ 



25 



Mit N [°'^j^) wird ein normal verteilter Zuf allsprozeS mit 
lwert 0 und der Standardabweichung bezeich- 



einem Mitte 
net . 



Unter Verwendung der jeweiligen statist ischen Verteilung Sj 
wird der mindestens eine kiinstliche Trainingsdatenvektor KTDV 
generiert (104) . 



WO 98/10352 



PCTVDE97/01497 



8 

Anschaulich bedeutet dies, dafi der kiinstliche Trainingsdaten- 
vektor KTDV durch den jeweils durch die statist ische Vertei- 
lung Sj beschriebenen Zuf allsprozeS generiert wird. 

5 Durch diese Vorgehensweise haben die kiinst lichen Trainingsda- 
tenvektoren KTDV statistisch die gleichen Eigenschaf ten wie 
die original verf iigbaren Trainingsdatenvektoren TDVi . 

Dies kann durch Verrauschen mit einem einheitlichen 
10 RauschprozeS, wie dieser aus dem Dokument [1] bekannt ist, 
nicht erreicht werden. 

Anschaulich lafit sich das Verfahren f olgendermaSen beschrei- 
ben. Die Eingangsdaten, reprasentiert durch die original ver- 
15 f iigbaren Trainingsdatenvektoren TDVi, werden mit einem Zu- 
fallsprozeS verrauscht, der fur jeden Eingang abhangig ist 
von der jeweiligen Gradienten-Fehlerf unkt ion nach den Ein- 
gangssignalen . 

20 Die jeweilige Rauschbreite kann anschaulich folgenderma- 
Sen interpretiert werden: 

- Kleine Werte von s^ werden durch Eingange erzeugt, die ei- 
ne gute Abbildung auf die Trainingsdaten erzeugen. 

25 

- Kleine Werte der Rauschbreite s^ konnen aber auch auf un- 
wichtige, fur das Training des neuronalen Netzes NN nicht re- 
levante Eingange hinweisen. 

3 0 In beiden Fallen ist es im Sinne der Aufgabe, da£ kein oder 

nur wenig Rauschen zu den ursprunglich vorhandenen Trainings- 
datenvektoren TDVi hinzugefiigt wird. 

- GroSe Werte der Rauschbreite s^ deuten darauf hin, dafi der 
35 Eingang j erhebliche Bedeutung aufweist, aber das neuronale 
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Netz NN bisher nicht in der Lage ist, eine adaquate Abbildung 
zu lernen. 

- Rauschen auf Eingangen mit einer groSen Rauschbreite Sj 
5 "versteif t" das neuronale Netz NN, wodurch ein Ubertrainieren 
verhindert wird, was zu einer besseren Verallgemeinerungsfa- 
higkeit des neuronalen Netzes NN f uhrt . 

Dieses Verfahren kann besonders vorteilhaft in Anwendungssi- 
10 tuationen verwendet werden, in denen nur eine relativ geringe 
Anzahl von Trainingsdatenvektoren TDVi zum Trainieren des 
neuronalen Netzes NN verfiigbar ist. 

Durch das Verfahren kann die Trainingsdatenmenge TDM kiinst- 
15 lich erheblich erweitert werden zu einer erweiterten Trai- 
ningsdatenmenge KTDM , ohne die eigentliche Systemdynamik zu 
verfalschen, da die statistischen Eigenschaf ten der Trai- 
ningsdatenmenge TDM auch in den kiinstlichen Trainingsdaten- 
vektoren KTDV enthalten sind. 

20 

Eine typische Anwendungssituation des Verfahrens liegt in der 
Analyse von Finanzmarkten, beispielsweise von Akt ienmarkten 
Oder auch Wertpapiermarkten . 

25 Wird zum Trainieren des neuronalen Netzes NN ein sog . Online- 
Lernverf ahren eingesetzt, bei dem wahrend der Generalisie- 
rungsphase des neuronalen Netzes NN weitere Trainingsdaten- 
vektoren TDV ermittelt werden, mit denen das neuronale Netz 
NN in der Generalisierungsphase weiter trainiert wird, so ist 

30 es in einer Weiterbildung des Verfahrens vorgesehen, abhangig 
von der Anderung der Trainingsdatenmenge TDM, die durch die 
Trainingsdatenvektoren TDVi gebildet wird, auch die statisti- 
schen Verteilungen Sj anzupassen. Dies kann beispielsweise 
fur eine uniforme Verteilung nach folgender Vorschrift erfol- 

3 5 gen: 



WO 98/10352 



PCT/DE97/01497 



10 



s. 



t + 1 _ 



(1 - a) • sj + a 



~> k 
9Z 3 



(7) 



Fur eine gauSfortnige statist ische Verteilung Sj kann bei- 
spielsweise folgende Adaptionsvorschrif t eingesetzt werden : 



= (i 



+ a 



(8) 



Mit a wird ein Adaptionsf aktor bezeichnet. 



10 Es hat sich als vorteilhaft herausgestellt, als Wert fur den 
Adaptionsf aktor a den Kehrwert der Anzahl der Trainingsdaten- 
vektoren TDVi zu verwenden. 



WO 98/10352 



PCT/DE97/01497 



11 
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[2] G . Deco und D: Obradovic, An Information-Theoretic 

Approach to Neural Computing, Springer Verlag, New York, 
USA, ISBN 0-387-94666-7, S. 23 - 37, 1996 

[3] H. Zimmermann und Rehkugler, Neuronale Netze in 
der Okonomie, Kapitel 1, Neuronale Netze als 
Entscheidungskalkiil, Vahlen Verlag, Miinchen, 
ISBN 3-8006-1871-0, S. 3 - 20, 1994 

[4] L . Holmstrom und P. Koistinen, Using Additive Noise in 
Back- Propagation Training, IEEE Transactions on Neural 
Networks, Vol. 3 , No . 1 , S . 24 - 38 , Januar 1992 
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Patentanspruche 

1. Verfahren zur rechnergestutzten Generierung mindestens ei- 
nes kiinstlichen Trainingsdatenvektors fur ein Neuronales Netz 

5 (NN) , 

- bei dem ein Restfehler (RE) 'nach einem Training des Neuro- 
nalen Netzes (NN) mit Trainingsdatenvektoren ( TDVi ) einer 
Trainingsdatenmenge (TDM) ermittelt wird (101) , 

- bei dem aus dem Restfehler (RE) fur mindestens einen Ein- 
10 gang (j) des Neuronalen Netzes (NN) ein Ruckwartsf ehler (RFj) 

ermittelt wird (102) , 

- bei dem jeweils eine dem Eingang (j) zugeordnete statisti- 
sche Verteilung (Sj) generiert wird, die von der Gro£e des 
jeweiligen Ruckwartsf ehlers (RFj) abhangig ist (103), 

15 - bei dem der kunstliche Trainingsdatenvektor generiert wird 
unter jeweiliger Verwendung der einem Eingang (j) zugeordne- 
ten statistischen Verteilung (Sj) (104). 

2. Verfahren nach Anspruch 1, 

20 bei dem der Ruckwartsf ehler (RFj) mit einem Gradientenab- 
stiegsverf ahren ermittelt wird. 

3. Verfahren nach Anspruch 2, 

bei dem das Gradientenabstiegsverf ahren mit einem Backpropa- 
25 gation-Verf ahren realisiert wird. 

4. Verfahren nach einem der Anspriiche 1 bis 3, 

bei dem die statistische Verteilung (Sj) durch eine uniforme 
Verteilung gebildet wird, wobei eine Verteilungsbreite der 
30 uniformen Verteilung von dem Ruckwartsf ehler (RFj) abhangig 
ist . 

5. Verfahren nach einem der Anspriiche 1 bis 3, 

bei dem die statistische Verteilung (Sj) durch eine gaufifor- 
35 mige Verteilung gebildet wird, wobei eine Verteilungsbreite 

der gauSformigen Verteilung von dem Ruckwartsf ehler (RFj) ab- 
hangig ist. 
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6. Verfahren nach Anspruch 4 oder 5, 

bei dem bei einer Online -Approximation des Neuronalen Netzes 
(NN) nach einer beliebigen Anzahl neuer Trainingsdatenvekto- 
5 ren (TDVi) die statistische Verteilung (Sj) an einen neu er- 
mittelten Riickwartsf ehler angepafit wird. 

7. Verfahren nach einem der Anspriiche 1 bis 6 eingesetzt zur 
Modellierung einer nichtlinearen Funktion, die mit einer ge- 

10 ringen Anzahl von Trainingsdatenvektoren beschrieben wird. 

8 . Verfahren nach einem der Anspriiche 1 bis 6 eingesetzt in 
der Analyse eines Finanzmarktes . 

15 9. Vorrichtung zur rechnergestiitzten Generierung mindestens 
eines kunstlichen Trainingsdatenvektors fur ein Neuronales 
Netz (NN) , 

mit einer Recheneinheit , die derart eingerichtet ist, dafi 

- ein Restf ehler (RE) nach einem Training des Neuronalen Net- 
2 0 zes (NN) mit Trainingsdatenvektoren (TDVi) einer Trainingsda- 

tenmenge (TDM) ermittelt wird (101) , 

- aus dem Restf ehler (RE) fur mindestens einen Eingang (j) 
des Neuronalen Netzes (NN) ein Riickwartsf ehler (RFj) ermit- 
telt wird (102) , 

25 - jeweils eine dem Eingang (j) zugeordnete statistische Ver- 
teilung (Sj) generiert wird, die von der GroSe des jeweiligen 
Riickwartsf ehlers (RFj) abhangig ist (103), 

- der kiinstliche Trainingsdatenvektor generiert wird unter 
jeweiliger Verwendung der einem Eingang (j) zugeordneten sta- 

30 tistischen Verteilung (Sj) (104). 

10. Vorrichtung nach Anspruch 9, 

bei der die Recheneinheit derart eingerichtet ist, daS der 
Riickwartsf ehler (RFj) mit einem Gradientenabstiegsverf ahren 
35 ermittelt wird. 



11. Vorrichtung nach Anspruch 9 oder 10, 
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bei der die Recheneinheit derart eingerichtet ist, da£ die 
statistische Verteilung (Sj ) durch eine uniforme Verteilung 
gebildet wird, wobei eine Verteilungsbreite der uniformen 
Verteilung von dem Riickwartsf ehler (RFj) abhangig ist. 

5 

12. Vorrichtung nach einem der Anspriiche 9 bis 11, 

bei der die Recheneinheit derart eingerichtet ist, dafi die 
statistische Verteilung (Sj) durch eine gauEf ormige Vertei- 
lung gebildet wird, wobei eine Verteilungsbreite der gaufifor- 
10 migen Verteilung von dem Riickwartsf ehler (RFj) abhangig ist. 

13. Vorrichtung nach Anspruch 11 oder 12, 

bei der die Recheneinheit derart eingerichtet ist, dafi bei 
einer Online -Approximation des Neuronalen Netzes (NN) nach 
15 einer beliebigen Anzahl neuer Trainingsdatenvektoren (TDVi) 
die statistische Verteilung (Sj) an einen neu ermittelten 
Riickwartsf ehler angepafit wird. 

14 . Vorrichtung nach einem der Anspruche 9 bis 13 eingesetzt 
20 zur Model lierung einer nichtlinearen Funktion, die mit einer 

geringen Anzahl von Trainingsdatenvektoren beschrieben wird. 

15. Vorrichtung nach einem der Anspruche 9 bis 13 eingesetzt 
in der Analyse eines Finanzmarktes . 
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Ermittlung eines Ruckwartsfehlers 
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Bildung einer statistischen Verteilung 
fur jeden Eingang abhangig von dem 
Ruckwartsfehler des jeweiligen 
Eingangs 
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^ Generierung mindestens eines 
kunstlichen Trainingsdatenvektors 
unter Verwendung der statistischen 
Verteilung 
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